设计加固学习（RL）代理通常是一个艰难的过程，需要大量的设计迭代。由于多种原因，学习可能会失败，并且标准RL方法提供的工具太少，无法洞悉确切原因。在本文中，我们展示了如何将价值分解整合到一类广泛的参与者批评算法中，并使用它来协助迭代代理设计过程。价值分解将奖励函数分为不同的组件，并学习每个组件的价值估计值。这些价值估计提供了对代理商的学习和决策过程的见解，并使新的培训方法可以减轻常见问题。作为演示，我们介绍了SAC-D，这是一种适合价值分解的软角色批评（SAC）的变体。 SAC-D保持与SAC相似的性能，同时学习一组更大的价值预测。我们还介绍了基于分解的工具来利用此信息，包括新的奖励影响指标，该指标衡量了每个奖励组件对代理决策的影响。使用这些工具，我们提供了分解用于识别和解决环境和代理设计问题的几种证明。价值分解广泛适用，易于将其纳入现有算法和工作流程中，使其成为RL从业人员的工具箱中的强大工具。

Large "instruction-tuned" language models (finetuned to respond to instructions) have demonstrated a remarkable ability to generalize zero-shot to new tasks. Nevertheless, they depend heavily on human-written instruction data that is limited in quantity, diversity, and creativity, therefore hindering the generality of the tuned model. We introduce Self-Instruct, a framework for improving the instruction-following capabilities of pretrained language models by bootstrapping off its own generations. Our pipeline generates instruction, input, and output samples from a language model, then prunes them before using them to finetune the original model. Applying our method to vanilla GPT3, we demonstrate a 33% absolute improvement over the original model on Super-NaturalInstructions, on par with the performance of InstructGPT_001, which is trained with private user data and human annotations. For further evaluation, we curate a set of expert-written instructions for novel tasks, and show through human evaluation that tuning GPT3 with Self-Instruct outperforms using existing public instruction datasets by a large margin, leaving only a 5% absolute gap behind InstructGPT_001. Self-Instruct provides an almost annotation-free method for aligning pre-trained language models with instructions, and we release our large synthetic dataset to facilitate future studies on instruction tuning.

Text detoxification has the potential to mitigate the harms of toxicity by rephrasing text to remove offensive meaning, but subtle toxicity remains challenging to tackle. We introduce MaRCo, a detoxification algorithm that combines controllable generation and text rewriting methods using a Product of Experts with autoencoder language models (LMs). MaRCo uses likelihoods under a non-toxic LM (expert) and a toxic LM (anti-expert) to find candidate words to mask and potentially replace. We evaluate our method on several subtle toxicity and microaggressions datasets, and show that it not only outperforms baselines on automatic metrics, but MaRCo's rewrites are preferred 2.1 $\times$ more in human evaluation. Its applicability to instances of subtle toxicity is especially promising, demonstrating a path forward for addressing increasingly elusive online hate.

In robotics, optimizing controller parameters under safety constraints is an important challenge. Safe Bayesian optimization (BO) quantifies uncertainty in the objective and constraints to safely guide exploration in such settings. Hand-designing a suitable probabilistic model can be challenging, however. In the presence of unknown safety constraints, it is crucial to choose reliable model hyper-parameters to avoid safety violations. Here, we propose a data-driven approach to this problem by meta-learning priors for safe BO from offline data. We build on a meta-learning algorithm, F-PACOH, capable of providing reliable uncertainty quantification in settings of data scarcity. As core contribution, we develop a novel framework for choosing safety-compliant priors in a data-riven manner via empirical uncertainty metrics and a frontier search algorithm. On benchmark functions and a high-precision motion system, we demonstrate that our meta-learned priors accelerate the convergence of safe BO approaches while maintaining safety.

在本文中，我们希望介绍有关克服神经网络中灾难性遗忘方法的某些问题的经验验证结果。首先，在引言中，我们将尝试详细描述灾难性遗忘的问题，并为那些尚不熟悉该主题的人克服它的方法。然后，我们将讨论我们在先前论文中提出的WVA方法的本质和局限性。此外，我们将介绍将WVA方法应用于权重梯度或优化步骤的问题，选择此方法中的最佳衰减功能，并根据顺序中的任务数量选择该方法的最佳超参数培训神经网络。

本概述论文描述了乌尔都语语言中的假新闻检测的第一个共享任务。该任务是作为二进制分类任务的，目标是区分真实新闻和虚假新闻。我们提供了一个数据集，分为900个注释的新闻文章，用于培训，并进行了400篇新闻文章进行测试。该数据集包含五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务。来自6个不同国家（印度，中国，埃及，德国，巴基斯坦和英国）的42个团队登记了这项任务。9个团队提交了他们的实验结果。参与者使用了各种机器学习方法，从基于功能的传统机器学习到神经网络技术。最佳性能系统的F得分值为0.90，表明基于BERT的方法优于其他机器学习技术

随着社交媒体平台影响的增长，滥用的影响变得越来越有影响力。自动检测威胁和滥用语言的重要性不能高估。但是，大多数现有的研究和最先进的方法都以英语为目标语言，对低资产品语言的工作有限。在本文中，我们介绍了乌尔都语的两项滥用和威胁性语言检测的任务，该任务在全球范围内拥有超过1.7亿扬声器。两者都被视为二进制分类任务，其中需要参与系统将乌尔都语中的推文分类为两个类别，即：（i）第一个任务的滥用和不滥用，以及（ii）第二次威胁和不威胁。我们提供两个手动注释的数据集，其中包含标有（i）滥用和非虐待的推文，以及（ii）威胁和无威胁。滥用数据集在火车零件中包含2400个注释的推文，测试部分中包含1100个注释的推文。威胁数据集在火车部分中包含6000个注释的推文，测试部分中包含3950个注释的推文。我们还为这两个任务提供了逻辑回归和基于BERT的基线分类器。在这项共同的任务中，来自六个国家的21个团队注册参加了参与（印度，巴基斯坦，中国，马来西亚，阿拉伯联合酋长国和台湾），有10个团队提交了子任务A的奔跑，这是虐待语言检测，9个团队提交了他们的奔跑对于正在威胁语言检测的子任务B，七个团队提交了技术报告。最佳性能系统达到子任务A的F1得分值为0.880，子任务为0.545。对于两个子任务，基于M-Bert的变压器模型都表现出最佳性能。

这项研究报告了第二个名为Urdufake@Fire2021的共享任务，以识别乌尔都语语言的假新闻检测。这是一个二进制分类问题，在其中，任务是将给定的新闻文章分为两类：（i）真实新闻，或（ii）假新闻。在这项共同的任务中，来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了共同的任务，18个团队提交了他们的实验结果，11个团队提交了他们的技术报告。所提出的系统基于各种基于计数的功能，并使用了不同的分类器以及神经网络体系结构。随机梯度下降（SGD）算法的表现优于其他分类器，并达到0.679 F-SCORE。

在当代世界中，自动检测假新闻是一项非常重要的任务。这项研究报告了第二项共享任务，称为Urdufake@fire2021，以识别乌尔都语中的假新闻检测。共同任务的目的是激励社区提出解决这一至关重要问题的有效方法，尤其是对于乌尔都语。该任务被视为二进制分类问题，将给定的新闻文章标记为真实或假新闻文章。组织者提供了一个数据集，其中包括五个领域的新闻：（i）健康，（ii）体育，（iii）Showbiz，（iv）技术和（v）业务，分为培训和测试集。该培训集包含1300篇注释的新闻文章 - 750个真实新闻，550个假新闻，而测试集包含300篇新闻文章 - 200个真实，100个假新闻。来自7个不同国家（中国，埃及，以色列，印度，墨西哥，巴基斯坦和阿联酋）的34个团队注册参加了Urdufake@Fire2021共享任务。在这些情况下，有18个团队提交了实验结果，其中11个提交了技术报告，与2020年的Urdufake共享任务相比，这一报告要高得多，当时只有6个团队提交了技术报告。参与者提交的技术报告展示了不同的数据表示技术，从基于计数的弓形功能到单词矢量嵌入以及使用众多的机器学习算法，从传统的SVM到各种神经网络体系结构，包括伯特和罗伯塔等变形金刚。在今年的比赛中，表现最佳的系统获得了0.679的F1-MACRO得分，低于过去一年的0.907 F1-MaCro的最佳结果。诚然，尽管过去和当前几年的培训集在很大程度上重叠，但如果今年完全不同，则测试集。

我们提出了一种基于数据驱动的优化的预补偿方法，以通过修改参考轨迹而不修改任何内置的低级控制器来改善精度运动阶段的轮廓跟踪性能。精确运动阶段的位置是通过数据驱动模型预测的，线性低保真模型用于通过更改路径速度和加速度轮廓来优化遍历时间，然后使用非线性高效率模型来完善该模型先前找到了时间最佳解决方案。我们通过实验证明，所提出的方法能够同时提高高精度运动阶段的生产率和准确性。鉴于模型的基于数据的性质，提出的方法很容易适应广泛的精确运动系统。